下载

Qwen

• https://huggingface.co/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive
  • 低端 N 卡下载 千问模型无审查激进版 Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ2_M.gguf
  • 高端 N 卡下载 千问模型无审查激进版 Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_P.gguf
  • 视觉多模态投影模型 mmproj-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-f16.gguf

llama.cpp

• https://github.com/ggml-org/llama.cpp/releases
  • 低端 N 卡下载 Windows x64 (CUDA 12) - CUDA 12.4 DLLs
  • 高端 N 卡下载 Windows x64 (CUDA 13) - CUDA 13.3 DLLs

配置

• 解压 llama.cpp 压缩包，得到 G:\llama-b9402-bin-win-cuda-12.4-x64 文件夹
• 在 G:\llama-b9402-bin-win-cuda-12.4-x64 文件夹下，创建文件夹 models ，将下载的两个千问模型放到 models 下
• 在 G:\llama-b9402-bin-win-cuda-12.4-x64 文件夹下，创建 llama-server-start.bat 脚本

  llama-server.exe ^
    -m "models\Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ2_M.gguf" ^
    --mmproj "models\mmproj-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-f16.gguf" ^
    -ngl 999 ^
    -c 8192 ^
    -n 4096 ^
    --host 127.0.0.1 ^
    --port 8080 ^
    --jinja
  pause
  

• 启动，启动后访问 http://127.0.0.1:8080/